कृत्रिम बुद्धिमत्ता के क्षेत्र में, बड़े भाषा मॉडल (LLMs) का प्रशिक्षण तकनीकी प्रगति को बढ़ावा देने के लिए एक महत्वपूर्ण दिशा बन गया है। हालाँकि, जैसे-जैसे मॉडल का आकार और डेटा सेट बढ़ता है, पारंपरिक अनुकूलन विधियाँ - विशेष रूप से AdamW - अपनी सीमाएँ प्रकट करने लगती हैं। शोधकर्ताओं को उच्च गणना लागत, अस्थिर प्रशिक्षण जैसी चुनौतियों का सामना करना पड़ता है, जिसमें ग्रेडिएंट का गायब होना या विस्फोट होना, पैरामीटर मैट्रिक्स का असंगत अद्यतन और वितरित वातावरण में उच्च संसाधन आवश्यकताएँ शामिल हैं। इसलिए, इन जटिलताओं का सामना करने के लिए और अधिक प्रभावी और स्थिर अनुकूलन तकनीकों की तत्काल आवश्यकता है।